任务模板和Compute模板_开源大数据平台 E-MapReduce(EMR)-阿里云帮助中心

阿里云E-MapReduce (简称EMR) Serverless Spark提供了任务模板和SQL Compute模板两种模板，以支持不同的任务执行和管理需求。任务模板适用于有固定执行参数和资源需求的批处理任务，而SQL Compute模板适合SQL任务的开发和快速迭代。本文档将指导您如何有效地使用这两种模板来简化任务的提交与管理。

前提条件

已创建工作空间，详情请参见管理工作空间。

模板概述

模板

说明

任务模板

任务模板是为Spark任务预定义的一组配置。它包含了运行一个特定作业所需要的所有配置信息。使用任务模板可以确保在任务提交时保持一致的配置和运行环境。

SQL Compute模板

SQL Compute模板为Spark交互式会话预定义的一组配置。它定义了交互式环境的资源配额和其他环境配置，让您可以在一个持久的Spark环境中执行代码片段。

SQL Compute模板适合于需要进行实时交互或频繁迭代调整的任务环境，例如数据分析、开发测试等场景，您可以在一个持久化的会话环境中灵活地提交任务、查看结果，并根据需要动态修改参数与资源配置。

重要

在开发过程中，如果需要更改配置，应当在Compute中修改，详情请参见管理Compute。

模板参数

您可以在EMR Serverless Spark的任务模板页面查看或修改模板参数。

任务模板

参数	说明
引擎版本	EMR-Serverless的版本。
spark.driver.cores	用于指定Spark应用程序中Driver进程所使用的CPU核心数量。
spark.driver.memory	用于指定Spark应用程序中Driver进程可以使用的内存量。
spark.executor.cores	用于指定每个Executor进程可以使用的CPU核心数量。
spark.executor.memory	用于指定每个Executor进程可以使用的内存量。
Spark配置	填写Spark配置信息，默认以空格符分隔，例如，`spark.sql.catalog.paimon.metastore dlf`。
日志级别	系统支持的日志级别从低到高为： DEBUG：系统运行状态的信息。 INFO：重要或者您感兴趣的信息。 WARN：系统可能会出现潜在的错误信息。 ERROR：系统出现错误和异常的信息。
日志路径	配置存储日志的路径。

SQL Compute模板

参数	说明
引擎版本	当前Compute使用的引擎版本。引擎版本号含义等详情请参见引擎版本介绍。
spark.driver.cores	用于指定Spark应用程序中Driver进程所使用的CPU核心数量。
spark.driver.memory	用于指定Spark应用程序中Driver进程可以使用的内存量。
spark.executor.cores	用于指定每个Executor进程可以使用的CPU核心数量。
spark.executor.memory	用于指定每个Executor进程可以使用的内存量。
spark.executor.instances	Spark分配的执行器（Executor）数量。
动态资源分配	默认关闭。开启后，需要配置以下参数： executors数量下限：默认为2。 executors数量上限：如果未设置spark.executor.instances，则默认值为10。
更多内存配置（点击展开）	spark.driver.memoryOverhead：每个Driver可利用的非堆内存。默认值为1 GB。 spark.executor.memoryOverhead：每个Executor可利用的非堆内存。默认值为1 GB。 spark.memory.offHeap.size：Spark可用的堆外内存大小。默认值为1 GB。仅在`spark.memory.offHeap.enabled`设置为`true`时生效。默认情况下，当采用Fusion Engine时，该功能将处于启用状态，其非堆内存默认设置为1 GB。
Spark配置	填写Spark配置信息，默认以空格符分隔，例如，`spark.sql.catalog.paimon.metastore dlf`。